Dans le domaine de l'intelligence artificielle, la modélisation de séquences déplace l'attention des instantanés statiques vers les flux temporels. Les tâches classiques d'apprentissage automatique supposent souvent que les points de données sont indépendants et identiquement distribués (IID), ce qui signifie que l'ordre des échantillons n'influence pas le résultat.
La modélisation de séquences rejette explicitement cette hypothèse, en s'appuyant sur trois piliers fondamentaux :
- Violation de l' invariance par permutation: dans les données tabulaires, l'ordre des colonnes est arbitraire. Dans les séquences, l'ordre est la caractéristique première. Remplacer « The cat ate the rat » par « The rat ate the cat » modifie fondamentalement la vérité sémantique de référence malgré des tokens identiques.
- Autrégressives Propriétés: nous supposons qu'une observation au temps $t$ est mathématiquement conditionnée par son historique ($t-1, t-2, \dots, 1$). Cela nécessite des probabilités de transition pour capturer l'évolution de l'information.
- Mappage à longueur variable: contrairement aux grilles de pixels fixes de 28x28, les séquences telles que les phrases ou les ondes sismiques sont élastiques. Les modèles doivent traiter des entrées de longueur $N$ et produire des sorties de longueur $M$ avec des paramètres constants.